Nemanja Vidić sinh ra ở Dragoljub, là con của một công nhân nhà máy đồng đã nghỉ hưu và Zora, một nhân viên ngân hàng. Vidić bắt đầu chơi bóng từ năm lên 6 tuổi, cùng với anh trai của mình là Dušanko, tại Jedinstvo Užice- một câu lạc bộ địa phương. Anh tiến bộ một cách nhanh chóng và sau đó chuyển đến Sloboda Užice khi 12 tuổi. Vidić đã phải trải qua cuộc chiến tranh Yugoslav trong những năm đầu thiếu niên của mình, cuộc chiến tranh đó khiến gia đình anh phải liên tục sống trong nỗi sợ hãi của việc bị ném bom.